SkillRep:刻画并理解智能体技能检索的表示设计空间
🧭 Agent技能检索 · 表示设计空间 ★ 深度解读
EverMind, Shanda Group · Peking University · Southeast University
首个组合微调、双侧扩展、背景投影与BM25的0.6B技能检索器,SRA-Bench MRR@10领先7.02点
📌 工作参考价值(4 点)
- 在召回/检索项目中,不要孤立评估 LLM 扩展、embedding 校准、BM25 融合;一定要在最强微调 encoder 上做 leave-one-out/last ablation。论文显示微调会反转 training-free 模块排序:background projection 从 +5.55 降到 +1.63,query-side expansion 从 +1.40 升到 +6.28。业务里可先用对比微调把双塔/商品 embedding 校准好,再决定要不要做 query 扩展或去背景。
- 混合检索优先用 score fusion(按 query 的 top-k 分数分布做 z-score 后线性加权),而不是 RRF。RRF 丢弃分数边界,稀疏通道可能推走 dense 已高分但 margin 大的正确结果;这对电商搜索/推荐中 BM25 与双塔融合直接可迁移,建议保留 score 的置信度信息。
- 三个诊断量可复用:background gap、coverage、dilution loss。上线 embedding 检索前,用它们判断是 query 表达不足、语料背景偏移、还是单向量稀释主导失败:前者补 query expansion;中者做 background projection/whitening;后者考虑 passage-level indexing 或增加 lexical channel。
- LLM query 扩展的价值主要在补出目标文档的词,而非改写风格。做电商搜索 query 扩展/改写时,应让 LLM 生成包含商品属性词、卖点词的伪文档或 pseudo-query,并按 IDF/类目词汇控制生成,避免泛词膨胀。
混合检索的融合税:稀疏-稠密融合何时有害的诊断分析
🧭 混合检索 · sparse-dense 融合诊断 ★ 深度解读
Independent Researcher, Bothell, WA, USA · Independent Researcher, Issaquah, WA, USA
系统量化 BM25+密集检索融合在单查询上的损失,发现即便平均提升,13-48%查询反受损
📌 工作参考价值(4 点)
- 不要默认 RRF:若目标 domain 的 dense 检索明显强于 BM25,用 dense-heavy score interpolation(α=0.6-0.7)比 RRF 更稳;RRF 只在两路强度接近时更合适。
- 上线前做 per-query fusion 损益审计:统计比单独 dense 差的 query 占比(该论文 8-21%),尤其对风险敏感的商品搜索/广告召回;不要只看平均 nDCG。
- 不要依赖便宜 query 特征做跨 domain 路由:同一特征在不同 sparse-dense 平衡下方向会翻转,跨 dataset AUC 仅 0.59,路由收益不可靠;可考虑更重的 LLM judge 或在线评估。
- 排序第二级 reranker 不一定能修复第一级融合损失:先在目标域确认 reranker 可靠性;若 reranker 可靠,约 71-90% 原受损 query 被修复但会引入新 hurt query,需持续监控。
AgentIR: 面向长期会话记忆的自适应级联检索基底
🧭 自适应级联检索 · Agent 记忆工作负载 ★ 深度解读
University of Southern California
针对 LLM Agent 记忆的强近期偏斜与查询异质性,设计自适应级联检索系统,实现次线性扩展与跨工作负载自动融合选择。
📌 工作参考价值(4 点)
- 时间分区索引利用 recency skew:将 Agent 记忆按时间窗口分桶,查询时仅检索最新分区,在典型近期偏斜分布下复杂度 O(log 1/ε),实测 5M 记录下子 100μs 延迟,可显著降低在线客服或推荐系统中长期历史查询的延迟。
- 级联路由按查询置信度跳过稠密通道:先跑廉价的 BM25,若Top-k 分数差跨过阈值则跳过耗时的 Dense 通道,在 LongMemEval 上跳过 63% 查询仍保持同等精度,部署时可用少量标注数据(50样本)自动学习阈值,适用于电商 Agent 中多数查询为简单事实查找的场景。
- 两轴控制面适配异质查询:融合策略(BM25/Dense/RRF/带时效偏好的 RRF)和是否激活稠密通道均按查询决策,可应对同一个 Agent 会话中从事实查找、推理到时间查询的类型切换。可用于推荐系统中混合搜索(关键词 vs 语义)的动态切换。
- BM25 工程加速与正确性坑点:SIMD 向量化、MaxScore 剪枝、GPU 两段核函数及共享内存初始化问题等具体实现细节可直接复用到自研稀疏检索模块,避免因预归一化 TF 或 nDCG 公式错误导致 6-8× 质量下降。